C'est l'ancienne porterie du château construit par Albert de Gondi, d'origine florentine et devenu par son mariage baron, comte puis maréchal et duc de Retz.

Proche conseiller de la Reine-Mère, Catherine de Médicis, il jouera un role non négligeable dans le massacre de la Saint-Barthélémy- Albert de Gondi acquiert systématiquement les terres voisines de la résidence royale de Saint-Germain-en-Laye et aménage à Noisy-en-Cruye, autour d'un bâtiment assez modeste, de magnifiques jardins, ainsi qu'une grotte, inspirés de l'esprit de la Renaissance italienne.

En 1592, le Cardinal Pierre de Gondi (frère d'Albert) y négociera, en présence du Légat du Pape, une trêve entre les partis catholique et protestant qui aboutira l'année suivante à l'abjuration d'Henri de Navarre : devenu Henri IV depuis l'assassinat de son cousin Henri III (1689), le Béarnais peinait à conquerir le nord de son royaume et notament Paris, la capitale.

En 1607, c'est au château de Noisy que le roi enverra le dauphin, futur Louis XIII, et sa soeur, lors d'une épidémie de peste à Saint-Germain.

Entre 1648 et 1652, un petit fils d'Albert, Jean François Paul, cardinal de Retz et futur mémorialiste, qui joue alors un rôle important dans la Fronde contre le jeune roi et son ministre Mazarin, accueillera dans cette résidence de sa famille d'illustres frondeurs comme le prince de Conti et la duchesse de Longueville, frère et soeur du grand Condé, ou des parlementaires tels que Brousset.

En 1654, les Gondi vendent le château à François Bossuet qui devra s'en séparer à la suite de spéculations malheureuses, et c'est finalement le roi lui-même qui achetera en 1675 la terre de Noisy, qui prend dès lors le nom de Noisy-le-Roi. Le château sera occupé de 1684 à 1686 par les futures Demoiselles de Saint-Cyr.
Plus tard la famille royale viendra à l'occasion des chasses, mais le château qui n'est pas entretenu se délabre. Le vieux roi tente de l'offrir à l'un de ses ministre, M.de Chamillart, qui refusera ce cadeau trop coûteux !

En 1732, le roi Louis XV en fera don à M.Leroy, lieutenant des chasses de Versailles, à condition que celui-ci le fasse démolir à ses frais. C'est avec les pierres et peut-être la charpente du toit que sera édifié le "château neuf".

Du magnifique domaine d'Albert de Gondi il ne reste qu'une porte, deux chiens de pierre et de pauvres vestiges de l'escalier en fer à cheval qui donnait sur la seconde cour du château.